Het kasteel van Leefdael was vroeger het centrum van een middeleeuwse heerlijkheid. De eerste heren van Leefdael waren in de dertiende eeuw dienaars van de hertog van Brabant. Zij kregen als beloning voor hun diensten de dorpen Leefdael en Vossem in leen. De hertog verwachtte blijkbaar dat zij de belangrijke handelsweg Brugge-Rijnland zouden beschermen. Daartoe hadden zij een versterkte woning nodig, die bovendien diende om hun macht tegenover de dorpelingen te beklemtonen. Hier lag de oorsprong van het kasteel van Leefdael.
Van de oudste stenen gebouwen zijn maar een paar delen overgebleven, een kelder uit het midden van de dertiende eeuw, het benedengedeelte van de grote toren en enkele funderingen.
Door huwelijk en erfopvolging kwam het kasteel in handen van de heren van Petershem en van de Merode. Maximiliaan Antoon de Merode verkocht het in 1660 aan Philip Helman, schepen van Antwerpen, die het aan zijn dochter Anne-Francoise schonk bij haar huwelijk met de bekende staatsman, Jan van Broechoven, graaf van Bergeyck. De huidige eigenaars, sinds 1775 de graven de Liederkerke, zijn afstammelingen van de graven van Bergeyck.
Het huidige kasteel van Leefdael is een vroeg 17de eeuws lusthuis van zand- en baksteen met renaissancistische invloed, eind 19de eeuw gerestaureerd door P. Langerock.